「人人都應該要有一台」的 DGX Spark

這波大語言模型的突破，帶來了很多新的應用的可能性，但許多的應用情境，可能出於隱私的需求，或是安全性的考慮，需要離線使用大模型。當然在資金充裕的情形下，直接拿訓練大模型的硬體來作為執行推論的區域網路伺服器，也是一種選擇，但這麼做的建置和維運成本都相當高。

基於這個「痛點」，目前多了很多新的選擇：例如新版的 Mac mini 就成為很多中小型實驗室建置大模型叢集的熱門選擇。而 AMD 新上市的 Strix Halo，也有很多廠商準備了 128GB 統合記憶體的產品要來攻略這個市場。

這兩天的 GTC 大會上，Jenson Huang 公佈了一項「人人都應該要有一台」的新產品，DGX Spark。個人覺得這完全就是衝著 Mac mini cluster 來的，一樣採用 ARM-based 處理器，更大的 128GB的統合記憶體，連定價區間都接近，但是由於是本家產品，直接支援 CUDA，所以大模型運作起來的效率就遠遠不是同一個等級。當然，由於硬體架構不同，在訓練模型的效率上沒辦法跟 H100/B100 系列相比，但作為微調（fine-tune）的工具還是游刃有餘，而其它廠牌產品受限於 CUDA 的支援，都只能做「推論」（就是執行人家訓練好的模型），要訓練或微調模型卻是沒辦法的。

所以，等上市就來買一台試試看囉。

大語言模型與心理諮商

「大語言模型與心理諮商」應該算是我過去一年主要在忙的事情，雖然還沒有個正式的結果，但也可以先看看學術界的觀點。

兩篇參考文獻都是 2024 年刊登的，Omar 的那篇是回顧型文章，分析整理了16 篇 paper，所以應該不會太偏頗。

這件事清想當然爾的結論是「機會與風險並存」。機會嘛，我跟夥辦們正在努力的好好把握，而相關的風險也是要事先有所準備。以下摘錄幾句文章裡的金句：

• Obradovich et al.: 大語言模型在「獲取資訊」、「凝鍊內容」上表現傑出，而且正在攻克需要繁複推理的問題。
• Obradovich et al.: 一個說話生動流暢的夥伴，不但記得你生活中的每個細節，還隨時用溫暖的語氣給你支持，這可能會引發一種回饋循環：我們可能會更沉迷在人機互動，而代替了人與人的社交。
• Omar et al.: 這些早期的研究揭示了大語言模型的多種應用，從診斷輔助到教育協助都有。鑑於認供智慧領域進步的速度，未來的研究會聚焦在探索「心理健康照護」當中的傳統角色，將會如何被新科技重新定義。
• Omar et al.: 人們對大語言模型在臨床場景中的局限性和安全性的擔憂顯而易見……這表明，儘管 ChatGPT 很有前景，但將其整合到臨床精神病學中必須謹慎對待。

個人最擔心的是第二點，那是走向種族滅絕的道路；第四點則是老話一句：小心駛得萬年船。

Referece:

• Obradovich et al. (2024): "Opportunities and risks of large language models in psychiatry" (Nature - Digital Psychiatry and Neuroscience)
• Omar et al. (2024): "Applications of large language models in psychiatry: a systematic review" (Frontiers in Psychiatry)

[摘譯] 未來歷史（A History of the Future）

原文：A History of the Future （part1, part2, part3）

作者：L Rudolf L

L Rudolf L 在另一系列三篇的《未來的歷史》（A History of the Future）當中，想像了從 2025 到 2040 這 15 年的發展，摘譯如下：

• AI能力的進步：在2025年至2026年間，AI在程式碼生成（codegen）方面的能力顯著提升，使得創建應用程式的成本大幅降低。Google DeepMind 在數學模型和推理架構方面也取得了進展。Anthropic 則專注於 AI 安全和可解釋性研究。到2027年，OpenAI 發布了o7，具備更強的自主性和可靠性，能夠獨立完成許多辦公室工作。

• 經濟和就業市場的轉變：隨著AI程式碼生成能力的提升，軟體變得極為豐富，但價格也因此下降。許多非程式設計師也能夠創建B2B SaaS或從事自由程式設計。然而，由於AI能夠取代大量白領工作，導致就業市場出現結構性變化。到2030年代，辦公室工作轉變為監督AI系統，許多職位實際上成為閒職。

• 社會文化和政治的影響：文章預測，AI的發展將影響社會文化，例如，人們花費大量時間與AI互動，可能導致人際溝通能力下降。同時，AI也可能被用於操縱政治。在政治方面，美國和中國都將AI視為戰略重點，並加大對AI的投資和研發。

• 地緣政治格局的變化：文章認為，AI技術的競爭將加劇美國和中國之間的地緣政治競爭。到2030年代，美國和中國將在半導體和AI產業上實現自給自足。其他國家和地區，如歐盟和發展中國家，可能因AI的發展而面臨挑戰。

• AI風險和安全：文章也關注AI可能帶來的風險，包括AI被用於網路攻擊、生物恐怖主義等。此外，隨著AI自主性的增強，如何確保AI的目標與人類價值觀一致，成為一個重要的研究方向。

• 機器人技術的崛起：到2030年代，機器人技術將得到廣泛應用，尤其是在製造業領域。美國和中國將大量部署機器人，以提高生產力和增強軍事力量。

• 人類的未來：在AI和機器人技術的影響下，人類社會將面臨深刻的變革。文章指出，到2040年，世界將變得極為富裕，但大部分資源將被用於地緣政治競爭和精英階層的地位競爭。普通人可能會發現自己越來越無力，只能眼睜睜地看著機器吞噬世界。

基本上，算是對前一篇文章，Capital, AGI, and human ambition，立論的詳細描繪。

話說回來，AGI 還沒來，想這些究竟算是高瞻遠矚，還是杞人憂天呢？